城主は神吉民部大輔頼定という人で別所長治の一族として、神吉の荘一万余石の領主であったが、織田信長の三木城攻めに際し、その支城として千余騎の軍兵によって善戦したが、総大将信長の嫡子で秋田城主介信忠のひきいる三万余騎の織田兵に攻められて、天正6年7月16日、遂に落城した。
「播磨鑑」
東西57間、南北43間、神吉荘神木村一本ニ云、右城内ニ法性山常楽寺ト云浄土宗ノ寺アリ、慶安元年戌子ニ御朱印ヲ頂戴ス、右城ハ常楽寺ノ境内ニ成、二ノ丸ハ田地ト成と書かれている。

神吉の常楽寺（神吉城跡）
浄土宗の寺院で、本尊は阿弥陀如来です。ここはもともと神吉城があったところで、天正6年（1578）神吉頼定の城兵二千が守る神吉城を、織田信忠・羽柴秀吉の三万の大軍が攻め、激戦の末、落城しました。境内には、頼定のお墓があります。春のお花見のころには、見事なしだれ桜が、参拝者の目を楽しませてくれます。

　　　　　　　　　　　　　　神吉頼定の墓